Tháng 4 năm 1941, Nguyễn Ái Quốc từ Vân Nam qua Quảng Tây về Cao Bằng, ở tại hang Pắc Pó, nơi có dòng suối mà tiếng địa phương gọi là Khuổi Nậm. Ông được phân công nhiệm vụ chỉ huy đội bảo vệ đưa các ông Hoàng Văn Thụ, Trường Chinh, Hoàng Quốc Việt, Trần Đăng Ninh từ Việt Nam sang Long Châu (Quảng Tây, Trung Quốc) rồi đi vòng về Cao Bằng để tham dự Hội nghị Trung ương Đảng lần thứ 8 do Nguyễn Ái Quốc chủ trì tại Pắc Pó vào tháng 5 năm 1941. Hội nghị này xác định thành lập Mặt trận Việt Nam độc lập đồng minh (Việt Minh) và đồng thời chủ trương thành lập lực lượng Cứu quốc quân làm nòng cốt quân sự cho Việt Minh.

Theo quyết định của Hội nghị, Đội du kích Bắc Sơn được đổi tên thành Trung đội Cứu quốc quân thứ nhất. Tháng 6 năm 1941, Phùng Chí Kiên được điều về làm Phụ trách chung.

Tuy nhiên, ngay cuối tháng 6, quân Pháp cùng lính khố xanh, khố đỏ mở cuộc càn quét lớn vào Bắc Sơn. Ông cùng Ban chỉ huy Cứu quốc quân tổ chức chống càn, tuy nhiên do lực lượng chênh lệch nên đành phải để lại 1 tiểu đội chặn đối phương, còn 2 tiểu đội phá vòng vây, rút lên Cao Bằng để bảo toàn lực lượng. Tiểu đội của Phùng Chí Kiên và Lương Văn Tri bị phục kích và bị tiêu diệt. Riêng tiểu đội do ông chỉ huy thoát khỏi vòng vây về được Pắc Bó.

Sau khi đưa được một bộ phận của Trung đội Cứu quốc quân thứ nhất về Pắc Bó an toàn và được chuyển thành đơn vị vũ trang bảo vệ căn cứ Pắc Pó, ông được giao nhiệm vụ về lại Võ Nhai để xây dựng và làm Chỉ huy trưởng của Trung đội Cứu quốc quân thứ hai, với 47 chiến sĩ (có 3 nữ), được thành lập ngày 15 tháng 9 năm 1941, tại Khuôn Mánh (nay thuộc xã Tràng Xá, Võ Nhai, tỉnh Thái Nguyên).

Trong những năm sau đó, ông chỉ huy Cứu quốc quân phát triển lực lượng, đánh du kích ở Tràng Xá, phát triển về Đại Từ, cướp được nhiều vũ khí của quân Pháp. Các binh sĩ Pháp đặt ông biệt danh là "Hùm xám Bắc Sơn".

Cuối năm 1944, ông chỉ huy lực lượng Cứu quốc quân 2 xây dựng Chiến khu Nguyễn Huệ (nay thuộc Đại Từ, Thái Nguyên). Sau Hội nghị Quân sự cách mạng Bắc Kỳ tại Hiệp Hòa (Bắc Giang) từ ngày 15 đến ngày 20 tháng 4 năm 1945, Chiến khu Nguyễn Huệ phát triển thành Chiến khu Hoàng Hoa Thám, trở thành căn cứ địa vững chắc để đón lãnh tụ Hồ Chí Minh và các lãnh đạo khác về đây hoạt động.